Windsor dilahirkan di Philadelphia, Pennsylvania, kepada James dan Celia Schlain, yang merupakan keluarga pendatang Yahudi Rusia. Beliau ialah anak bongsu dari tiga bersaudara.[3][4][5] Bapanya kehilangan kedai gula-gula dan ais krim, dan rumah mereka yang terletak di atas kedai mereka kerana Zaman Meleset.[6] Windsor mendapat perlakuan anti-semitisme pada zaman persekolahannya.[7] Semasa bersekolah, beliau berkenalan dengan seorang budak lelaki seusianya, tetapi kemudian beliau teringat bahawa beliau juga meminati gadis.[8]

Windsor menerima ijazah sarjana dari Universiti Temple pada 1950.[9] Pada tahun 1955, beliau mula memperoleh ijazah sarjananya dalam matematik, yang diperolehi dari Universiti New York pada 1957.[10] Beliau kemudian menyertai IBM, di mana beliau bekerja selama enam belas tahun. Sepanjang tempoh ini, beliau menghabiskan dua semester untuk mempelajari matematik terapan di Universiti Harvard.[11]